Advanced hybrid tracking through neural network regression

International audienceWe present an optical-haptic tracking system suitable for augmented and virtual reality applications. The paper addresses tow issues of such system. The first one concerns the calibration method that can be used to calibrate the force feedback device: SPIDAR. The second contribution is about the development of a hybrid tracking system. The proposed hybridization aims to provide both accurate and interrupted position data

Design and implementation of an adaptative interaction system for virtual reality applications

Dans les dernières décennies, la réalité virtuelle a connu un essor fulgurant dans de nombreuses disciplines. Elle permet via des paradigmes d’interaction et d’immersion de plonger l’utilisateur au cœur d’un environnement artificiel crée numériquement. Ces paradigmes s’appuient sur l’utilisation des interfaces sensori-motrices bien spécifiques qui permettent à l’utilisateur d’interagir et accomplir des tâches particulières dans l’environnement virtuel. Néanmoins, des nombreux problèmes, d’origine technologique, sont souvent présents et peuvent pénaliser la qualité de l’interaction ainsi que le degré d’immersion de l’utilisateur dans l’environnement virtuel.L’objectif de cette thèse est de proposer une procédure complète visant à guider l’utilisateur à calibrer une interface sensori-motrice spécifique et par conséquent tenter de pallier à certains défauts technologiques. L’originalité de la thèse réside dans l’utilisation d’une approche qui combine deux domaines de recherche qui ne s’associent que très rarement : celui du traitement de données et celui de la réalité virtuelle. Cette approche servira de cadre théorique et technique pour la conception d’une procédure de calibration complète permettant de garantir une interaction continue et précise dans l’environnement virtuel.Afin de contrebalancer les défauts et limites techniques, le travail a été conduit sur plusieurs fronts : acquisition, traitement de données et validation. La première phase est marquée par l’utilisation d’un protocole innovant dans la mesure où il repose sur les techniques de réalité virtuelle pour récolter les données de calibration. Dans la deuxième phase, deux techniques de calibration ont été proposées pour améliorer la précision absolue de l’interface de réalité virtuelle. Les deux techniques se distinguent par leurs qualités d’approximateurs universels ainsi que par leurs capacités à estimer les sorties du système concerné à partir des entrées sans connaître à priori son modèle mathématique. Dans la dernière phase, deux prototypes d’applications de réalité virtuelle ont été développées pour s’assurer de la pertinence de notre approche.Over last decades, virtual reality has been widely used in many disciplines. It is able to plunge the user at the heart of an artificial environment created digitally through interaction and immersion paradigms. These paradigms are based on the use of very specific interfaces that help user to interact and performspecific tasks in the virtual environment. Nevertheless, many technical problems are often present and may penalize the quality of that interaction and may break user immersion in the virtual environment.The goal of this thesis is to build a comprehensive procedure to guide the user to calibrate a virtual reality interface and therefore attempt to overcome some technological shortcomings. The originality of the thesis is the use of an approach that combines two areas of research that will combine very rarely, that of data processing and the virtual reality. This approach will provide theoretical and technical framework for the design of a comprehensive calibration procedure to ensure continuous and precise interaction in the virtual environment.To overcome problems described above, the work was conducted on several fronts :data acquisition, processing and validation. The first step is by the use of a new protocol insofar as it is based on virtual reality techniques to collect calibration data. In second step, two calibration methods have been proposed to improve the absolute accuracy of the virtual reality interface. Both methods are universal approximators as well as their ability to estimate the outputs of the involved system from inputs even the model of the system being calibrated remains unknown. In the last step, two virtual reality applications prototypes were developed in order to assess the relevance of our approach

Étude et mise en œuvre d’un système d’interaction adaptatif pour les applications de réalité virtuelle

Over last decades, virtual reality has been widely used in many disciplines. It is ableto plunge the user at the heart of an artificial environment created digitally through interactionand immersion paradigms. These paradigms are based on the use of very specificinterfaces that help user to interact and perform specific tasks in the virtual environment.Nevertheless, many technical problems are often present and may penalize the quality ofthat interaction and may break user immersion in the virtual environment.The goal of this thesis is to build a comprehensive procedure to guide the user to calibratea virtual reality interface and therefore attempt to overcome some technologicalshortcomings. The originality of the thesis is the use of an approach that combines twoareas of research that will combine very rarely, that of data processing and the virtualreality. This approach will provide theoretical and technical framework for the design ofa comprehensive calibration procedure to ensure continuous and precise interaction inthe virtual environment.To overcome problems described above, the work was conducted on several fronts :data acquisition, processing and validation. The first step is by the use of a new protocolinsofar as it is based on virtual reality techniques to collect calibration data. In secondstep, two calibration methods have been proposed to improve the absolute accuracy ofthe virtual reality interface. Both methods are universal approximators as well as theirability to estimate the outputs of the involved system from inputs even the model of thesystem being calibrated remains unknown. In the last step, two virtual reality applicationsprototypes were developed in order to assess the relevance of our approach.Dans les dernières décennies, la réalité virtuelle a connu un essor fulgurant dans denombreuses disciplines. Elle permet via des paradigmes d’interaction et d’immersion deplonger l’utilisateur au coeur d’un environnement artificiel crée numériquement. Ces paradigmess’appuient sur l’utilisation des interfaces sensori-motrices bien spécifiques quipermettent à l’utilisateur d’interagir et accomplir des tâches particulières dans l’environnementvirtuel. Néanmoins, des nombreux problèmes, d’origine technologique, sontsouvent présents et peuvent pénaliser la qualité de l’interaction ainsi que le degré d’immersionde l’utilisateur dans l’environnement virtuel.L’objectif de cette thèse est de proposer une procédure complète visant à guider l’utilisateurà calibrer une interface sensori-motrice spécifique et par conséquent tenter depallier à certains défauts technologiques. L’originalité de la thèse réside dans l’utilisationd’une approche qui combine deux domaines de recherche qui ne s’associent que très rarement: celui du traitement de données et celui de la réalité virtuelle. Cette approche servirade cadre théorique et technique pour la conception d’une procédure de calibrationcomplète permettant de garantir une interaction continue et précise dans l’environnementvirtuel.Afin de contrebalancer les défauts et limites techniques, le travail a été conduit surplusieurs fronts : acquisition, traitement de données et validation. La première phaseest marquée par l’utilisation d’un protocole innovant dans la mesure où il repose sur lestechniques de réalité virtuelle pour récolter les données de calibration. Dans la deuxièmephase, deux techniques de calibration ont été proposées pour améliorer la précision absoluede l’interface de réalité virtuelle. Les deux techniques se distinguent par leurs qualitésd’approximateurs universels ainsi que par leurs capacités à estimer les sorties du systèmeconcerné à partir des entrées sans connaître à priori son modèle mathématique. Dansla dernière phase, deux prototypes d’applications de réalité virtuelle ont été développéespour s’assurer de la pertinence de notre approche

Improved Tracking Using a Hybrid Optcial-Haptic Three-Dimensional Tracking System

International audienceThe aim of this paper is to asses to what extent anoptical tracking system (OTS) used for position tracking invirtual reality can be improved by combining it with a humanscale haptic device named Scalable-SPIDAR. The mainadvantage of the Scalable-SPIDAR haptic device is the fact it isunobtrusive and not dependent of free line-of-sight.Unfortunately, the accuracy of the Scalable-SPIDAR is affectedby bad-tailored mechanical design. We explore to what extent theinfluence of these inaccuracies can be compensated by collectingprecise information on the nonlinear error by using the OTS andapplying support vector regression (SVR) for calibrating thehaptic device reports. After calibration of the Scalable-SPIDARwe have found that the average error in position readingsreduced from to 263.7240±75.6207 mm to 12.6045±8.4169 mm.These results encourage the development of a hybrid hapticopticalsystem for virtual reality applications where the hapticdevice acts as an auxiliary source of position information for theoptical tracker

Neural network method for haptic device calibration using an optic-haptic hybrid tracker

International audienceThe purpose of this paper is to asses to what extent an optical tracking system used for position tracking in virtual reality can be enhanced by combining it with a human scale haptic device named SPIDAR. The major advantage of this haptic device is the fact it is not dependent of free line-of-sight and unobtrusive. Unfortunately, the accuracy of the is affected by bad-tailored design. We explore to what extent the influence of these inaccuracies can be compensated by collecting precise information on the nonlinear error by using the optical tracking system and applying neural network regression (NN) for calibrating the haptic device reports. After calibration of the SPIDAR, we have found that the average error in position readings has reduced significantly. These results encourage the development of a hybrid optic-haptic system for virtual reality applications where the haptic device acts as an auxiliary source of position information for the optical tracking system

SPIDAR calibration based on regression methods

International audienceIn order to obtain accurate position estimation, it is imperative that the SPIDAR, a haptic interface device, is properly calibrated. The driving idea of this work is to derive easy-to-use calibration algorithms that can be used to calibrate our haptic device and to add therefore adaptability to the system behavior. We make use of regression methods and we obtain calibration algorithms as a solution to SPIDAR inaccuracy. The efficacy of the proposed methods is illustrated using experimental data collected from a sensor platform